视觉模型可以评估图像中的视觉上下文并生成描述性文本。尽管生成的文本可能是准确且句法正确的，但通常过于笼统。为了解决这个问题，最近的工作使用光学特征识别来补充视觉信息，并从图像中提取的文本进行补充。在这项工作中，我们认为，视觉模型可以受益于可以从图像中提取但不使用当前模型使用的其他信息。我们修改了以前的多模式框架，以接受来自任意数量的辅助分类器的相关信息。特别是，我们将重点放在人的名字作为附加令牌上，并创建一个新颖的图像捕获数据集，以促进用人名称的字幕。标题（PAC）中的数据集，政客和运动员包括背景下知名人士的字幕图像。通过使用此数据集对预处理的模型进行微调，我们演示了一个模型，该模型可以自然地将面部识别令牌纳入生成的文本中，通过培训有限的数据。对于PAC数据集，我们提供有关集合和基线基准分数的讨论。

最近，自我注意事项的使用已导致最先进的工作，从而实现了视觉任务，例如图像字幕以及自然语言理解和产生（NLU和NLG）任务以及计算机视觉任务，例如图像分类。这是因为自我注意力图绘制了输入源和目标序列元素之间的内部相互作用。尽管自我注意力成功地计算了注意值并绘制输入源和目标序列元素之间的关系，但没有控制注意力强度的机制。在现实世界中，当彼此面对面或声音交流时，我们倾向于以各种强度表达不同的视觉和语言背景。有些单词可能会带来（与之交谈）更多的压力和重量，表明在整个句子的上下文中，该词的重要性。基于此直觉，我们提出了区域之路注入注意计算（Zodiac），其中计算输入序列元素中注意值的强度是根据输入序列元素的上下文计算的。我们的实验结果表明，与变压器模型中的自我发场模块相比，采用黄道带导致更好的性能。最终目标是找出我们是否可以使用这种方法来修改变压器模型中的自我发场模块，该方法可能对其他模型可以扩展，从而利用自我发作的核心。我们的发现表明，这一特殊目标值得研究社区的进一步关注和调查。 www.github.com/zanyarz/zodiac可用。

图像标题是自动生成句子的任务，以最好的方式生成描述输入图像。最近用于自动生成图像标题的最成功的技术最近使用了细心的深度学习模型。设计了深入学习模型的设计方式有变化。在本调查中，我们为图像标题的细心深度学习模型提供了相关的文献述评。而不是对深度图像标题模型的所有先前工作进行全面审查，我们解释了用于深度学习模型中的图像标题任务的各种类型的注意机制。用于图像标题的最成功的深度学习模型遵循编码器解码器架构，尽管这些模型采用注意机制的方式存在差异。通过分析图像标题的不同细节深层模型的性能结果，我们的目标是在图像标题中找到深度模型中最成功的注意机制。柔软的关注，自下而上的关注和多主题是一种广泛应用于图像标题的最先进的深度学习模型的关注机构的类型。在当前时，最佳结果是从多针关注的变体实现的，以自下而上的关注。